查看原文
其他

打破XR平台壁垒:苹果开放空间视频接口|VR|AR|MR|空间计算|MV-HEVC|编解码|库克

黑毛警长008 AR圈 2023-12-26

苹果公司CEO库克说:Mac开启个人计算时代,iPhone开启移动计算时代,而Vision Pro则将开启空间计算时代。(原文:Just as the Mac introduced us to personal computing, and iPhone introduced us to mobile computing, Apple Vision Pro introduces us to spatial computing)


空间视频作为推动空间计算的重要抓手,受到苹果公司的高度重视。这一重视体现在各个层面,包括手机硬件、XR设备、操作系统、算法优化、员工培训、市场拓展和媒体生态建设。目前,这些努力正在持续稳步向前推进。

海外科技评论家对空间视频给予高度评价(详见《苹果再邀媒体体验Vision Pro,媒体:不像在看视频》)。行业专家普遍认为,空间视频凭借其 “一广两低”(广泛的用户基础、低开发门槛和低上手门槛)的特点,与游戏类应用的“小用户基数、高开发门槛高和高上手门槛”形成鲜明对比。空间视频正逐步成为XR行业破圈的希望所在。

目前,不仅苹果,许多XR和手机厂商也开始关注空间视频,一些公司和开发者已经在这一技术领域进行了初步的探索。行业当前关注的焦点是空间视频的编解码问题。编解码决定了空间视频是否能跨平台,而跨平台则决定了空间视频的价值能否最大化并实现商业变现

空间视频采用MV-HEVC编码,尽管这一编码技术早在2015年就被纳入ITU的H.265国际标准,但其编解码器在行业中尚不普及。例如,苹果iPhone 15 Pro拍摄的空间视频采用了MV-HEVC编码,要在安卓系XR设备上(如Quest 3、Pico 4等)观看这些视频,则需要通过第三方平台进行解码和转码(成为Side By Side左右格式),这一过程大大增加了跨平台操作的复杂性。

🔺图:传统的空间视频转码方案,图源:AR圈

🔺图:传统的空间视频转码方案,图源:AR圈

那么,这个过程能否简化呢?有两种方案:第一种是苹果系产品支持MV-HEVC的编解码及转码,第二种是安卓系产品支持MV-HEVC编解码。值得庆幸的是,苹果已经实现了第一种方案。

据资深开发者SpiderBot(V2XR)介绍,苹果在其开发者工具Video Toolbox中已经新增了对MV-HEVC编解码的支持。这意味着开发者可以基于这一接口,直接开发出苹果端的编解码及转码工具。

🔺图:苹果开放空间视频编解码接口,图源:AR圈

🔺图:苹果开放空间视频编解码接口,图源:AR圈

警长在研究苹果开发者文档后发现,在苹果官方的视频编解码工具Video Toolbox中,确实新增了对MV-HEVC的支持。以VTCompressionSessionEncodeMultiImageFrame为例,该函数用于MV-HEVC进行编码(压缩),而且该函数不仅支持Vision Pro和iPhone,还能支持iPad和Mac及Vision Pro。这意味着,编解码可以在苹果系全平台上得到支持。

🔺图:苹果官方视频编解码工具Video Toolbox新增对MV-HEVC的支持,图源:AR圈

🔺图:苹果官方视频编解码工具Video Toolbox新增对MV-HEVC的支持,图源:AR圈

🔺图:苹果官方视频编解码工具Video Toolbox新增对MV-HEVC的支持,图源:AR圈

🔺图:苹果官方视频编解码工具Video Toolbox新增对MV-HEVC的支持,图源:AR圈

警长结语:

苹果开放空间视频编解码接口,意味着空间视频跨平台的大门被彻底打开

那么,谁将是这一技术的最大受益者呢?是致力于创新内容的视频开发者,还是视频工具开发者?是提供灵活服务的SaaS服务供应商,又或是构建云基础设施的平台服务商?苹果的这一举措,又会为安卓系XR和手机厂商带来哪些新的思考和新的机遇呢?

欢迎关注公众号“AR圈”,通过快捷私信分享您的见解,与警长共同探索XR行业的未来之路。

往期推荐

苹果再邀媒体体验Vision Pro,媒体:不像在看视频|VR|AR|MR|空间计算|空间视频|iPhone

腾讯借空间视频技术提升压缩效率,中国开发者首破空间视频跨平台播放难题|苹果|MV-HEVC|Vision Pro|iPhone

两次体验苹果眼镜后,他说:这个技术可能会成为Vision Pro的杀手级应用|VR|AR|iOS17.2|不止生动,宛若临境

苹果眼镜代工方做了一款AR眼镜|无线|轻量化|光波导|MicroLED|增强现实|李书福|王来春|沈子瑜

招聘!Meta|Unity|VIVO|OPPO|Rokid|XREAL|歌尔|军科|雷鸟|字节|蓝思|芯视源|星纪魅族|亿镜

少林寺方丈造访美国Meta公司,谈“禅宗遇到AI”|VR|MR|AI|人工智能|佛教|释永信|观音诞|觉悟|见性成佛

Quest 3上抖音热搜,赢种草榜Top3!|Meta|VR|MR|XR|VST|Video See Through

解析:歌尔收购这家公司的背后|苹果|Meta|空间计算|深度感知|结构光|微纳光学|机器人|无人机|AR|VR|MR|驭光

解锁Quest 3直拍空间视频:原理、方法、挑战及改进空间|Meta|苹果|Vision Pro|VST|QGO|MR|透视

Meta版空间视频来了,接近苹果体验!一文看懂原理、价值、战略及实操|Stereo|iPhone|AR|VR|SideQuest

MR应用大爆发!苹果与Meta带动效应初现 | 透视 | VST | AR | VR |教育|运动|游戏|办公|娱乐

2500万台XR产能!产线已开始入驻青岛虚拟现实产业园 | 歌尔 | 大朋 | 崂山 | 光学模组 | 整机 | 智能穿戴

仅1500元起!Meta平价VR或提前登场与苹果PK | 腾讯 | 透视 | 菲涅尔 | 选配手柄 | Lite | XR2

iPhone支持空间视频,可能利好这些公司|Spatial Video|Stereo Video|MV-HEVC

99.9%的人都忽视了苹果“3D拍摄”的这个细节,你注意到了吗?|空间视频|Vision Pro|iPhone 15|激光雷达

美军IVAS洞察报告3(附PDF下载)

MicroOLED For AR/VR 洞察报告 | Q3版 |苹果眼镜|PDF|下载

投稿/商务/转载/合作

请联系微信:XRInstitute


点个在看你最好看


继续滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存